Trong Kháng chiến chống Pháp

Năm 1949 khi quân Trung Hoa Quốc dân đảng thua trận trước Quân Giải phóng Nhân dân Trung Quốc, Hoàng Kiệt (黃杰 Huang Chieh) tướng lĩnh tỉnh Hồ Nam dẫn hơn 30000 quân chạy sang Việt Nam, lúc bấy giờ được Pháp đưa ra đóng quân tại phía Nam đảo Phú Quốc. Sau đó, năm 1953, họ về Đài Loan theo Tưởng Giới Thạch. Họ bỏ lại nhà cửa đồn điền, thực dân Pháp thấy vậy tận dụng nhà cửa có sẳn lập ra nhà tù rộng khoảng 40 hecta gọi là "Trại Cây Dừa" nhốt tù binh gần 14000 người.[2]

Trại gồm 4 khu nhà giam A, B, C, D. Các tù binh cộng sản bị Pháp bắt từ các chiến trường Trung, Nam, Bắc Việt Nam bị tập trung đưa ra trại giam này ở Phú Quốc. Số tù binh này gồm khoảng 14000 người, đa số từ nhà tù Đoạn Xá (Hải Phòng). Cũng như tại các nhà tù khác trong Chiến tranh Đông Dương, tù nhân cộng sản tại Trại Cây Dừa sinh hoạt đấu tranh chống khủng bố, đàn áp, và tổ chức vượt ngục. Sau hơn 1 năm ở trại, có 99 tù nhân bị chết, 200 người vượt ngục.

Tháng 7 năm 1954, sau Hiệp định Genève, Pháp trao trả cho phía Việt Nam Dân chủ Cộng hòa hầu hết tù binh ở trại này.

Trong Chiến tranh Việt Nam

Cuối năm 1955, Việt Nam Cộng hòa xây dựng một trại giam ở địa điểm Căng Cây Dừa cũ, với diện tích rộng 4 ha, đặt tên là Trại huấn chính Cây Dừa, còn gọi là Nhà lao Cây Dừa. Trại tù có nhà giam tù nam, nhà giam tù nữ, nhà giam phụ lão. Ngày 2 tháng 1 năm 1956, 598 người tù từ trại Trung tâm huấn chính Biên Hòa được đưa đến đề lao Gia Định, rồi đưa xuống tàu vận tải Hắc Giang của hải quân chở từ Sài Gòn về đến Phú Quốc. Về sau còn có thêm một số tù chính trị thuộc diện "Việt Cộng" hoặc "thân Cộng" cũng được đưa đến Trại huấn chính Cây Dừa.

Trong 7 tháng, từ tháng 2 đến tháng 9 năm 1956, có khoảng 100 tù nhân vượt ngục, trong đó có một số người bị bắn chết khi vượt rào. Các ông Phạm Văn Khỏe (em ruột của Phạm Hùng), và Mai Thanh (Tỉnh ủy viên, Bí thư Thị ủy Rạch Giá) cũng vượt ngục trong thời gian này. Thấy tình hình bất ổn, năm 1957, Việt Nam Cộng hoà đưa số tù chính trị ở "Trại huấn chính Cây Dừa" về đất liền, và đày một số ra nhà tù Côn Đảo.

Khi chiến tranh Việt Nam leo thang, số tù binh và tù chính trị tăng cao, chính quyền Việt Nam Cộng hòa xây dựng thêm nhiều trại giam tù binh ở Biên Hòa, Pleiku, Đà Nẵng, Cần Thơ, Quy Nhơn... Tại Phú Quốc, năm 1966, một trại giam rộng hơn 400 ha được xây dựng ở thung lũng An Thới, cách "Căng Cây Dừa" cũ 2 km. Trại giam gồm 12 khu, mỗi khu có 4 phân khu A, B, C, D, với trên 400 nhà giam, được gọi là Trại giam tù binh cộng sản Việt Nam / Phú Quốc, thường được gọi là Trại giam tù binh Phú Quốc. Mỗi phân khu, ngoài 9 phòng để tù binh ở, có 2 phòng để thẩm vấn, phạt vạ hoặc biệt giam tù binh... Tất cả 11 phòng đều có cấu trúc vì kèo sắt, nóc tôn, vách tôn, mỗi phòng bề ngang 5 mét, dài 20 mét, hai đầu chừa hai lối ra vào, bề ngang khoảng 8 tấc và mỗi bên vách tôn có 4 cửa sổ, dưới vách tôn có khoảng trống chừng 3 tấc, có rào dây kẽm gai. Để canh gác khu trại giam, chung quanh mỗi khu giam có một pháo đài canh gác có đặt súng đại liên; tại cổng chính của khu giam có 2 vọng gác; một vọng tổng kiểm soát đốc canh, 2 giờ thay phiên gác một lần, liên tục 24/24 giờ; hai xe tuần tra liên tục quanh khu giam; ban đêm còn có các toán vào vòng rào giới hạn để kiểm soát lưu động tại các phân khu và 10 vọng gác di động. Đứng đầu ban chỉ huy trại giam là một trung tá hoặc đại úy (có lúc là một chuẩn tướng) Quân lực Việt Nam Cộng hòa, đằng sau là một cố vấn người Mỹ. Lực lượng canh giữ trực tiếp trại giam gồm có 4 tiểu đoàn quân cảnh, một liên đội địa phương quân, một đại đội công binh, một đơn vị hải thuyền và một đội quân khuyển.

Nhà tù Phú Quốc trở thành trại giam tù binh trung tâm toàn Việt Nam Cộng hòa, giam giữ hơn 32000 tù binh (40000 tù nhân nếu tính cả tù chính trị nhiều thời kỳ). Có khoảng 12000 tù nhân là bộ đội chủ lực, bộ đội địa phương, trong đó có khoảng 9000 người từ miền Bắc. Có trên 20000 tù nhân là dân quân du kích xã, ấp và cán bộ chính trị. Có hơn 2000 sĩ quan, hạ sĩ quan; trên 100 tù nhân là cán bộ cộng sản có trình độ chính trị trung cấp, sơ cấp (trong đó có 10 tỉnh ủy viên, trên 40 huyện ủy viên) và trên 200 chi ủy viên.Vào tháng 5-1969 tù binh đã tổ chức vượt ngục thành công tại khu B2.